第1章 はじめに(『大規模言語モデル入門』)
transformersの
Auto Classes
(1.2)
Auto Classesでは、モデルを表すAutoModelと入力テキストを分割するAutoTokenizerを主に使います。(Kindle版 p.28)
from_pretrained
テキスト生成のAutoModelはAutoModelForCausalLM
👉
Causal language modeling